Có khả năng dân cư gốc của vùng là những người Harla.[9] Lịch sử ban đầu của nó là quãng thời gian thuộc liên minh các quốc gia Zeila.[10] Theo nhà du hành Do Thái thế kỷ 12 Benjamin của Tudela thì vùng Zeila là vùng đất của Havilah, tiếp giáp với Al-Habash ở phía tây.[11][12] Vào thế kỷ 9, Harar là một phần của triều đại Makhzumi.[13][14] Harar được gọi là Gēy ("thành phố") bởi những người Harar, Harar nổi lên như là trung tâm văn hóa và tôn giáo Hồi giáo ở vùng Sừng châu Phi vào cuối thời Trung Cổ.

Theo Fath Madinat Harar, một tài liệu lịch sử chưa được công bố của thành phố thì vào thế kỷ 13, Abadir Umar ar-Rida cùng một số nhà lãnh đạo tôn giáo khác đến từ bán đảo Ả Rập tới định cư ở Harar vào khoảng năm 1216. Ông đã gặp những người Harla, Gaturi và Argobba.[15] Fakr ad-Din là em trai của Abadir là người đã thành lập Vương quốc Hồi giáo Mogadishu.[16]

Theo biên niên sử thế kỷ 14 của Amda Seyon I, Gēt (Gēy) là thuộc địa của Ả Rập tại Harla.[17] Trong thời Trung Cổ, Harar là một phần của Vương quốc Hồi giáo Adal, trở thành kinh đô của vương quốc vào năm 1520 dưới thời quốc vương Abu Bakr ibn Muhammad. Thế kỷ 16 là thời kỳ hoàng kim nhất của thành phố này. Văn hóa địa phương phát triển mạnh mẽ, nhiều nhà thơ đã sống và sáng tác ở đó. Nó cũng trở nên nổi tiếng với các mặt hàng cà phê, dệt, đan rổ và đóng sách.

Từ Harar, Ahmad ibn Ibrahim al-Ghazi còn được biết đến là "Gurey" và "Grañ" (đều có nghĩa là "Thuận tay trái") đã phát động một cuộc chiến tranh chinh phục trong thế kỷ 16 nhằm mở rộng lãnh thổ, đe dọa đến sự tồn tại của Đế quốc Kitô giáo Ethiopia láng giềng. Người kế vị ông là Nur ibn Mujahid đã xây dựng một bức tường bảo vệ xung quanh thành phố.[18] Với chiều cao bốn mét với năm cổng, cấu trúc này được gọi là Jugol vẫn còn nguyên vẹn và là biểu tượng của thị trấn đối với những cư dân ở đây. Những người Siltʼe, Wolane, Halaba và Harari vẫn sống ở Harar trong khi ba nhóm dân tộc cũ chuyển đến Gurage.[19]